Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning
Wasserstein 过滤:一种用于鲁棒分布学习的样本选择方法
🧭 鲁棒分布学习与异常检测
The Hong Kong Polytechnic University · Fudan University
提出 Wasserstein Filtering,通过最大化子集与污染数据集的 Wasserstein 距离来剔除异常样本,并给出可扩展算法
📌 工作参考价值(4 点)
- 可作为训练数据清洗的通用预处理工具:在用户行为日志、点击数据中常混有 bot 流量或噪声样本,WF 用分布距离直接筛选干净子集,不依赖具体模型,适合在特征工程阶段引入。
- 边际筛选算法 SinkMarg 计算快,适合大规模推荐/广告日志的初筛;需要更高精度时再用 SinkWF 或 SlicedWF 做联合优化,工程上可以分两级漏斗。
- 对生成式推荐或创意生成模型:若训练数据含大量低质/异常样本,WF 能先筛出干净数据,再训练 diffusion 等生成模型,缓解模式坍塌或生成质量下降。
- 异常检测场景中,WF 的“最大化 Wasserstein 距离”思路可迁移到流量反作弊、异常用户识别,作为无监督异常分数的一种新视角。